即時快訊
圖/示意圖
科技生活

·幾秒前·何映辰
#AWS#人工智慧#資料科學#雲端運算#機器學習
圖/示意圖
圖/示意圖
商傳媒|何映辰/台北報導
摘要

AWS 為機器學習平台 Amazon SageMaker AI 推出全新資料準備工具,涵蓋自動標註、合成資料生成與品質檢驗,大幅減少開發者清理數據的繁瑣步驟。

雲端巨頭 AWS 宣布為旗下的機器學習平台 Amazon SageMaker AI 推出全新的 AI 資料準備功能,整合自動標註、合成資料生成、品質評估及轉換工具,瞄準企業在打造生成式 AI 模型時最耗時的數據清理與準備痛點。

在典型的模型開發流程中,團隊往往需要投入大量時間進行資料蒐集、清洗與標註,才能產出足以訓練出優秀模型的資料集。這項新功能將整個前置作業大幅自動化,協助資料科學家與工程團隊建立、評估並持續改進高品質資料。

陪審團評分機制結合人工審查

新工具支援分類、命名實體辨識、擷取式問答、排序評分以及摘要等多種任務的自動標註。針對答案固定的任務,系統採用多模型組成的「陪審團」機制進行判定,依據模型間的一致性計算出信心分數。若標註結果的信心水準低於使用者設定的門檻,資料便會自動導流至整合了開源工具 Label Studio Community Edition 的 SageMaker Studio 佇列,交由人工進一步審核。

此外,合成資料生成功能允許團隊以既有的種子資料與文件為基礎,建立可被審閱與修改的程式碼流程管線。在資料品質檢驗方面,平台則提供重複資料偵測、標籤雜訊檢驗、答案洩漏(answer leakage)檢查,並結合業務規則與「以大型語言模型作為裁判(LLM-as-a-judge)」的指標進行多層次把關。

數據留存用戶專用儲存空間

在資安與權限管理部分,所有原始資料、生成資料集與標籤皆直接保留在客戶選定區域的 Amazon Simple Storage Service (Amazon S3) 儲存桶中,並由 AWS Identity and Access Management (IAM) 執行角色嚴格控管存取權限。

思科(Cisco)旗下的資安與監控軟體業者 Splunk 已在其 Agent Observability 產品採用該合成資料生成功能。Splunk 工程總監 Yash Sheth 表示,訓練評估模型極度依賴高品質且多元的資料集,透過 SageMaker 的合成資料工具,團隊能快速產出具統計代表性的資料集,並大幅減少資料科學家的前置整理負擔。

開發團隊即日起可透過 3.30.0 以上版本的 SageMaker Python SDK,或利用 SageMaker Studio JupyterLab 等開發環境中的 AWS AI-ML Agent 呼叫這套功能。目前相關服務已於 AWS 美東(維吉尼亞北部)與美西(奧勒岡)區域正式上線,詳細技術文件已公布於 SageMaker AI 官方說明頁面。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源